哈尔滨做网站数据平台的公司语文建设 官方网站
2026/4/18 18:04:07 网站建设 项目流程
哈尔滨做网站数据平台的公司,语文建设 官方网站,深圳定制巴士怎么买票,宁波网页开发费用Open-AutoGLM新手教程#xff1a;图文详解每一步操作 1. 引言#xff1a;让AI帮你操作手机#xff0c;只需一句话 你有没有想过#xff0c;只要说一句“打开小红书搜美食”#xff0c;手机就能自动完成打开App、输入关键词、点击搜索这一整套操作#xff1f;这不再是科…Open-AutoGLM新手教程图文详解每一步操作1. 引言让AI帮你操作手机只需一句话你有没有想过只要说一句“打开小红书搜美食”手机就能自动完成打开App、输入关键词、点击搜索这一整套操作这不再是科幻场景而是Open-AutoGLM正在实现的现实。Open-AutoGLM 是智谱开源的一款面向手机端的 AI Agent 框架名为AutoGLM-Phone。它结合视觉语言模型与 ADBAndroid Debug Bridge技术能够“看懂”你的手机屏幕并通过自然语言指令自动执行点击、滑动、输入等操作。无论是刷抖音、回消息还是批量处理任务它都能替你完成。本文是一篇纯新手向的实操指南从环境准备到成功运行第一条指令手把手带你走完全部流程。不需要深度学习背景也不需要复杂配置只要你有一台安卓手机和一台电脑就能立刻上手。2. 系统原理简述AI是如何“操控”手机的在开始操作前先简单了解一下 AutoGLM-Phone 的工作原理帮助你理解每一步的意义。整个系统由三部分组成视觉理解模块AI通过截图“看到”当前手机界面识别出按钮、文字、布局。意图与规划模块根据你的自然语言指令如“发朋友圈”AI推理出需要执行的操作序列。执行控制模块通过 ADB 向手机发送点击、滑动、输入等指令真正实现自动化。整个过程就像一个“数字助手”坐在你旁边看着你的手机听你说话然后替你动手操作。关键提示所有操作都基于 ADB 控制因此必须开启 USB 调试并确保设备连接正常。3. 准备工作软硬件与环境配置3.1 硬件与系统要求项目要求电脑系统Windows 或 macOSPython 版本建议 3.10手机设备Android 7.0 及以上版本连接方式USB 数据线 或 WiFi需在同一局域网3.2 安装 ADB 工具ADBAndroid Debug Bridge是连接电脑与安卓设备的核心工具。你需要先下载并配置它。Windows 用户下载 Android SDK Platform Tools。解压到任意目录例如C:\platform-tools。配置环境变量按Win R输入sysdm.cpl打开“系统属性”。点击“高级” → “环境变量”。在“系统变量”中找到Path点击“编辑” → “新建”。添加 ADB 解压路径如C:\platform-tools。打开命令行输入adb version如果显示版本号说明安装成功。macOS 用户打开终端执行以下命令假设解压到~/Downloads/platform-toolsexport PATH${PATH}:~/Downloads/platform-tools你可以将这行命令添加到.zshrc或.bash_profile中避免每次重启终端都要重新设置。验证安装adb version4. 手机端设置开启调试与输入法4.1 开启开发者模式打开手机“设置” → “关于手机”。连续点击“版本号”7次直到提示“您已进入开发者模式”。4.2 开启 USB 调试返回“设置”主界面进入“开发者选项”。找到“USB 调试”勾选启用。⚠️ 注意首次连接电脑时手机会弹出“允许USB调试吗”的提示务必点击“允许”。4.3 安装 ADB Keyboard关键步骤为了让 AI 能够输入文字你需要安装一个特殊的输入法ADB Keyboard。下载 ADB Keyboard APK。安装后在“设置” → “语言与输入法” → “默认键盘”中切换为ADB Keyboard。这样AI 就可以通过 ADB 发送文本实现自动打字。5. 部署控制端代码本地运行 Open-AutoGLM现在我们来部署本地控制程序它是连接你电脑和云端 AI 模型的桥梁。5.1 克隆项目代码打开终端或命令行执行git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM5.2 安装依赖确保你已安装pip然后运行pip install -r requirements.txt pip install -e .如果遇到权限问题可尝试加上--user参数或使用虚拟环境。安装完成后你会看到phone_agent模块被成功注册这是核心控制库。6. 连接手机设备USB 与 WiFi 两种方式6.1 USB 连接推荐新手使用使用数据线将手机连接电脑。手机弹出“允许USB调试”时点击“允许”。在终端输入adb devices你应该看到类似输出List of devices attached ABCDEF1234567890 device其中ABCDEF1234567890就是你的设备 ID。6.2 WiFi 远程连接适合无线操作如果你不想一直插着线可以用 WiFi 连接。第一步用 USB 启动 ADB over TCP/IPadb tcpip 5555这会启动 ADB 的网络模式监听 5555 端口。第二步断开 USB连接 WiFi确保手机和电脑在同一 WiFi 下查看手机 IP 地址通常在“设置”→“WLAN”中。然后执行adb connect 192.168.x.x:5555替换192.168.x.x为你的手机 IP。再次运行adb devices应该能看到设备以 IP 形式连接。7. 启动 AI 代理下达第一条指令一切就绪现在让我们让 AI 接管手机7.1 命令行方式运行在Open-AutoGLM项目根目录下运行python main.py \ --device-id ABCDEF1234567890 \ --base-url http://云服务器IP:端口/v1 \ --model autoglm-phone-9b \ 打开抖音搜索抖音号为dycwo11nt61d 的博主并关注他参数说明--device-id从adb devices获取的设备 ID 或 IP:5555--base-url云端 vLLM 服务的地址格式为http://公网IP:端口/v1--model指定模型名称目前为autoglm-phone-9b最后的字符串你的自然语言指令 示例python main.py \ --device-id 192.168.1.100:5555 \ --base-url http://43.139.23.45:8800/v1 \ --model autoglm-phone-9b \ 打开小红书搜索‘秋季穿搭’并点赞前三篇笔记运行后你会看到 AI 开始截图、分析界面、规划动作并逐步执行点击、滑动、输入等操作。7.2 Python API 方式调用适合集成开发如果你希望将功能嵌入自己的程序可以使用 Python API。from phone_agent.adb import ADBConnection, list_devices # 创建连接管理器 conn ADBConnection() # 连接设备USB 或 WiFi success, message conn.connect(192.168.1.100:5555) print(f连接状态: {message}) # 列出所有连接设备 devices list_devices() for device in devices: print(f{device.device_id} - {device.connection_type.value}) # 获取设备 IP用于远程连接 ip conn.get_device_ip() print(f设备 IP: {ip}) # 断开连接 conn.disconnect(192.168.1.100:5555)这段代码可用于自动化检测设备、建立连接、获取信息非常适合构建更复杂的控制逻辑。8. 实际效果演示AI如何一步步执行任务以指令“打开小红书搜索‘美食探店’并收藏第一篇笔记”为例AI 的执行流程如下截图获取当前界面通过 ADB 截图传给视觉模型。识别界面元素模型识别出“首页”、“搜索框”、“底部导航栏”等。规划动作序列点击“搜索”图标输入“美食探店”点击“搜索”按钮滑动浏览结果点击第一篇笔记找到“收藏”图标并点击逐条执行通过 ADB 发送坐标点击或控件操作。确认完成返回“任务已完成”或“未找到目标”反馈。整个过程无需人工干预AI 会根据界面变化动态调整策略。9. 常见问题与排查建议9.1 设备无法连接现象adb devices无输出或显示unauthorized解决方法检查是否开启了“USB调试”重新插拔数据线手机确认授权重启 ADB 服务adb kill-server adb start-server9.2 AI 无响应或乱码现象模型返回乱码、不执行操作可能原因云端 vLLM 服务未正确启动max-model-len设置过小导致上下文截断显存不足模型加载失败检查项确认--base-url能正常访问查看 vLLM 启动日志是否有报错确保 GPU 显存足够建议至少 24GB9.3 输入中文失败现象搜索框无法输入中文原因ADB Keyboard 未设为默认输入法解决进入“设置”→“语言与输入法”确认 ADB Keyboard 为默认键盘9.4 WiFi 连接不稳定建议优先使用 USB 连接进行调试稳定后再切换 WiFi若必须用 WiFi确保信号良好避免路由器限速10. 总结你已经迈出了自动化第一步恭喜你完成了 Open-AutoGLM 的完整部署与首次运行你现在拥有了一个能“看懂”手机屏幕、听懂你说话、并自动操作的 AI 助手。回顾一下我们走过的步骤安装 ADB 并配置环境手机开启开发者模式与 ADB Keyboard克隆并安装 Open-AutoGLM 控制端通过 USB 或 WiFi 连接设备调用main.py执行自然语言指令下一步你可以尝试更复杂的指令如“登录微信并发送消息给张三”批量处理多个任务将其集成到自己的自动化脚本中这个框架不仅是一个玩具更是未来手机自动化的重要方向。随着多模态模型能力的提升AI 操作手机将越来越像真人甚至超越人类效率。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询